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摘 E: 
模 化 肉牛 牧场 复杂 环境 对 肉牛 体 尺 的 测量 需求 ， 


[目的 /意义 ] 牛 的 体 尺 参数 是 反映 牛 身体 发 育 状况 的 关键 指标 ， 也 是 牛 选 育 过 程 的 关键 因素 。 为 解决 规 
设计 了 一 种 图 像 采集 装置 以 及 体 尺 自 动 测量 算法 。[ 方 法 ] 首先 搭 


建 肉牛 行走 通道 ， 当 肉牛 通过 通道 后 进入 限制 装置 ， 用 英特尔 双 目 深度 相机 D455 对 牛 只 右 侧 图 像 进行 RGB 与 深 
度 图 的 采集 。 其 次 ， 为 避免 复杂 环境 背景 的 影响 ， 提 出 一 种 改进 后 的 实例 分 割 网 络 Mask2former 来 对 牛 只 二 维 图 进 
行 前 景 轮廓 提取 ， 对 轮廓 进行 区 间 划 分 ， 利 用 计算 曲率 分 析 方 法 找到 所 需 体 尺 测 点 。 然 后 ， 将 原始 深度 图 转换 为 
点 云 数据 ， 对 点 云 进行 点 云 滤波 、 分 割 和 深度 图 牛 只 区 域 的 空 值 填 充 ， 以 保留 牛 体 区 域 的 点 云 完整 ， 从 而 找到 所 
需 测 点 并 返回 到 二 维 数据 中 。 最 后 ， 将 二 维 像 素 点 投影 到 三 维 点 云 中 ， 利 用 相机 参数 计算 出 投影 点 的 世界 坐标 ， 
从 而 进行 体 尺 的 自动 化 计算 ， 最 终 提 取 肉 牛 体高 、 十 字 部 高 、 体 斜 长 和 管 围 4 种 体 尺 参数 。[ 结 果 与 讨论 ] 改进 的 
实例 分 割 网 络 与 Mask R-CNN PointRend, Queryinst 等 模型 相 比 具 有 更 好 的 分 割 结果 。 采 用 本 研究 测 得 的 这 4 种 
体 尺 平均 相对 误差 分 别 为 4.32%、3.71%、5.58% 和 6.25%。[ 结 论 ] 本 研究 开发 的 肉牛 图 像 采 集 装 置 及 相应 的 图 像 


处 理 方法 可 以 满足 该 牧场 对 肉牛 体 尺 无 接触 自动 测量 误差 小 于 8% 的 精度 要 求 ， 为 非 接触 式 肉 牛 体 尺 自动 化 测量 


提供 了 理论 与 实践 指导 。 
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2023 年 ， 中 央 一 号 文件 《中 共 中 央 国务 院 关 
于 做 好 2023 年 全 面 推进 乡村 振兴 重点 工作 的 意见 》 
要 求 大 力 推进 种 源 等 农业 关键 核心 技术 攻关 ， 全 面 
实施 生物 育种 重大 项 目 ， 扎 实 推进 国家 育种 联合 攻 
关 和 畜 禽 遗传 改良 计划 。 其 中 ， 牛 的 体 况 作为 牛 先 
育 工作 的 参数 尤为 重要 。 牛 是 畜牧 业 发 展 的 重要 品 
种 。 准 确 测量 牛 的 体 尺 数据 对 于 探究 其 生长 发 育 、 
繁殖 性 能 具有 重要 意义 ， 同 时 也 是 衡量 其 选 育 效果 
的 重要 依据 六。 
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传统 的 牛 体 尺 测量 方法 是 采用 测 杖 、 卷 信和 记 
录 表 通过 人 工 将 牛 固定 住 进行 测量 。 这 种 方法 人 工 
成 本 高 ， 准 确 率 低 ， 容 易 造 成 牛 的 应 激 反 应 。 随 着 
人 工 智 能 的 发 展 ， 越 来 越 多 的 学 者 利用 有 关 技术 对 
牲畜 体 尺 进行 无 接触 式 测量 方法 的 研究 。 利 用 人 工 
智能 方法 对 牲畜 体 尺 测量 可 分 为 基于 二 维 数据 和 基 
于 三 维 数据 两 种 方法 。 

二 维 图 像 研究 方法 具有 一 定 的 局 限 性 ， 当 牛 体 
背景 较为 复杂 时 ， 基 于 机 带 学 习 图 像 聚 类 的 方法 易 
受到 环境 影响 ， 从 而 影响 轮廓 提取 的 精度 ”。 
Wang 等 ”基于 UNet 网 络 对 牧牛 的 前 景 进行 提取 ， 
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利用 双 目 相机 来 测 得 实际 体 尺 数据 ， 但 是 此 分 割 方 
法 并 不 适用 于 所 有 环境 背景 情况 ， 并 且 在 提取 体 尺 
关键 测 点 的 过 程 中 是 利用 人 工 提取 来 实现 的 ， 缺 少 
自动 化 过 程 。 采 用 二 维 的 方法 对 测 点 的 提取 有 和 较 大 
的 局 限 性 ， 不 可 能 提取 到 非 前 景 轮廓 上 的 测 点 ， 从 
而 造成 体 尺 参数 测量 的 局 限 性 。 

在 三 维 数据 领域 ， 越 来 越 多 的 研究 者 利用 点 云 
技术 对 牲畜 体 尺 进行 测量 ， 利 用 深度 相机 采集 牲畜 
的 点 去 数据 ， 通 过 点 云 分 制 ， 点 云 配 准 等 技术 ， 建 
立 牲畜 的 轮廓 三 维 数据 ， 通 过 在 点 云 数据 上 找 测 
点 ， 直 接 计算 得 到 世界 坐标 系 的 点 云 坐 标 ， 从 而 计 
算 体 尺 数据 。Guo 等 开发 了 一 种 基于 三 维 点 云 数 
据 的 牲畜 体 长 估计 交互 式 软件 LSSA_CAU， 该 软件 
提供 了 一 套 半 自动 加 载 、 绘 制 、 分 割 、 姿 态 归 一 
化 、 测 量 家 冀 全 身体 表 点 云 数据 的 工具 ,但 前 提 是 
假设 牛 或 猪 的 形态 相似 且 头 朝 前 站 立 。Huang 等 ” 
使 用 ShapeNet 数据 集 的 经 典 三 维 点 云 数据 集 
(Point Cloud Data, PCD) 训练 Kd 网络 。 通 过 光 探 
测 和 测 距 (Light Detection and Ranging, LiDAR) f£ 
ah APCD IN— AN, FERPA, UH 
平均 曲率 和 高 斯 曲率 提取 特征 曲面 形状 的 候选 区 
域 ， 在 计算 表面 形状 的 特征 直方 图 后 ， 可 以 识别 特 
征 表面 的 中 心 ， 并 最 终 计算 出 牛 的 身体 尺寸 。 王 可 
等 “基于 地 面 法 向 量 矫 正 的 主 成 分 分 析 (Principal 
Component Analysis, PCA) 方法 ， 利 用 平面 法 矢量 
校正 PCA 主轴 ， 建 立 了 一 种 以 旋转 归 一 化 为 基础 的 
猪 体 体 尺 测 点 提取 方法 。 张 婷 和 李琦 ”利用 Kinect 
进行 三 维 点 云 的 重建 ， 进 而 在 点 云图 上 进行 曲线 的 
WA EPR ER FEMA, SEMA Rte. Li h 
利用 Kinect 相 机 从 猪 的 正 上 方 捕捉 图 像 ， 从 背 表 面 
点 云 中 提取 体 尺 寸 参数 。Yin 等 ”通过 对 25 头 长 白 
猪 207 组 点 云 数 据 分 析 ， 提 出 了 一 种 标准 的 姿态 分 
类 算法 ， 将 自动 分 类 结果 与 基于 猪 标准 姿态 和 非 标 
准 姿态 的 人 工分 类 结果 进行 比较 ， 对 非 标准 姿态 下 
猪 体 尺 寸 测量 结果 进行 修正 。Yang 等 ”提出 了 一 
种 基于 智能 手机 的 便携 式 奶牛 身体 非 接触 式 三 维 测 
量 系统 。 石 炜 等 ”利用 四 轴 无 人 机 进行 图 像 采 集 ， 
背 助 中 值 滤 波 降 噪 、 图 像 三 通道 直方 图 均衡 化 等 图 
像 处 理 方法 ， 对 图 像 进行 预 处 理 ， 提 高 重建 点 云 密 
度 及 测量 精度 ， 根 据 图 像 自 带 定 位 定 姿 系统 (Posi- 
tion and Orientation System, POS) 信息 进行 空中 三 
角 计 算 ， 获 取 平 差 确定 点 云 的 初始 坐标 数据 之 后 进 
行 三 维 重 建 ， 最 后 通过 点 云 库 (Point Cloud Li- 
brary, PCL) 点 云 处 理 中 的 随机 采样 一 致 性 算法 


(RANdom SAmple Consensus, RANSAC) 提取 每 头 
牛 的 点 云 ， 之 后 进行 交互 式 测 量 。 采 用 点 云 处 理 方 
法 进行 体 尺 测 点 自动 化 提取 时 ， 对 来 自 不 同 视角 的 
点 云 进 行 分 割 并 配 准 出 完整 的 待 测 对 象 的 三 维 点 
云 ， 只 保留 待 测 对 象 的 点 云 数据 。 这 对 采集 设备 、 
采集 环境 、 三 维 点 云 重 建 等 算法 与 精度 具有 较 高 的 
要 求 ， 极 易 出 现 目标 物体 点 云 数据 的 缺失 与 细节 不 
完整 等 问题 。 为 解决 上 文 提 到 的 二 维 与 三 维 方 法 的 
头 端 ， 本 研究 采用 二 维 、 三 维 相 结合 的 方法 设计 一 
种 自动 化 非 接 触 式 肉牛 体 尺 测量 系统 ， 主 要 工作 
如 下 。 

1) 由 于 采用 机 器 学 习 进 行 图 像 分 割 对 环境 因 
素 的 鲁 棒 性 不 强 ， 会 导致 分 割 难度 较 大 ， 因 此 本 研 
究 改 进深 度 学 习 实 例 分 割 网 络 Mask2former '^', H 
获得 更 好 的 前 景 分 割 图 像 。 

2) 采用 二 维 数据 与 三 维 数据 结合 的 方法 ， 针 
对 不 同 测 点 位 置 ， 设 计 一 种 自动 化 体 尺 测 点 提取 算 
法 ， 利 用 Intel RealSense D455 深度 相机 采集 二 维 图 
片 与 深度 数据 ， 在 二 维 图 像 上 进行 有 关 体 尺 测 点 的 
自动 提取 ， 在 三 维 数据 上 对 相关 测 点 进行 提取 并 返 
回 到 二 维 图 像 中 与 其 他 测 点 进行 联系 ， 最 终 再 将 所 
有 体 尺 参数 像素 值 投影 到 三 维 点 云 数据 上 ， 从 而 得 
到 真实 值 。 这 种 方法 只 需 对 点 云 数据 进行 一 些 简单 
必要 的 处 理 , 保留 有 效 信息 即 可 。 

3) 搭建 一 种 基于 真实 牧场 环境 下 的 测量 平台 ， 
提出 一 种 自动 提取 肉牛 的 体高 、 十 字 部 高 、 体 斜 长 
和 管 围 体 尺 参 数 的 算法 。 


1 材料 与 方法 
1.1 牛 只 尺寸 的 测量 指标 


本 研究 需要 测量 的 牛 体 尺寸 指标 如 表 1 所 
示 。 待 测 体 尺 参数 如 图 1 所 示 。 
表 1 肉牛 体 尺 测量 标准 


Table 1 Measurement standards for beef cattle body size 


体 尺 参数 测量 规定 
体高 着 甲 最 高 点 到 地 面 的 垂直 距离 


Wig 肩 端 到 坐骨 端 后 缘 的 直线 距离 
十 字 部 高 腰 角 前 缘 对 应 的 背部 最 高 点 至 地 面 的 垂直 距离 
管 围 TG HIER OE p Ab t] Je Hc 
1.2 设计 牛 体 尺 测量 系统 并 获取 人 工 测 量 的 
体 尺 数据 
2023 年 7 月 15 一 22 日 ， 在 内 蒙古 自治 区 赤峰 市 
圣 泉 生态 牧 业 有 限 公 司 采 集 数据 ， 搭 建 采集 通道 和 
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Al 牛 体 尺 参数 测量 示意 

Fig. 1 Schematic diagram of measurement of beef cattle body 


size parameters 


采集 设备 等 实验 环境 。 采 集 图 像 时 ， 在 距离 肉牛 右 
侧 2~4 mm 处 放置 一 台 英 特 尔 RealSense D455 深度 相 
机 。 采 集 图 像 的 分 辨 率 像 素 设 置 为 848X480， 帧 率 
设置 为 30 f/s。 采 集 环 境 的 现场 如 图 2 所 示 。 


注 :1. D455 相 机 ;2. 肉牛 通过 通道 ;3. 肉牛 限制 器 。 
图 2 肉牛 体 尺 参 数 实地 采集 环境 图 


Fig.2 Collection environment of beef cattle body size parameters 


如 图 3 所 示 ， 在 采集 真实 肉牛 体 尺 数 据 时 ， 测 
量 人 员 使 用 测 杖 测量 肉牛 体 尺 。 为 减 小 误差 .测量 
人 员 对 每 个 体 尺 参 数 测量 3 次 ， 取 平均 值 作为 最 终 
人 工 测量 的 体 尺 数据 。 共 对 该 牧场 的 137 头 牛 进行 
相关 体 尺 测 量 ,， 所 有 体 尺 数值 均 以 厘米 Com) 为 
单位 ,保留 小 数 点 后 两 位 小 数 。 
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a. 十 字 部 高 
图 3 肉牛 体 尺 参数 人 工 测 量 照片 


Fig. 3 Beef cattle body size measurement photos manually 


肉牛 体 尺 测量 系统 主要 分 为 模型 训练 与 测试 、 
自动 化 体 尺 计算 两 部 分 。 肉 牛 体 尺 测量 系统 方案 设 
计 如 图 4 所 示 。 


1.3 实例 分 割 数据 集 构建 
为 对 目标 物体 进行 图 像 分 割 ， 增 加 模型 的 鲁 棒 


参数 自动 
LM RH 


EM TTC LL 


图 4 肉牛 体 尺 测量 系统 流程 图 
Fig. 4 Flowchart of body size measurement system of 
beef cattle 


性 ， 本 研究 构建 了 基于 Microsoft Common Objects 
in Contex (MS COCO) 数据 集中 牛 的 数据 与 该 牧 
场 采集 数据 的 混合 数据 集 ， 提 取 MS COCO 数据 集 
中 2 055 张 牛 的 类 别 图 ， 再 将 该 牧场 采集 的 视频 数 
据 集 进行 抽 帧 ， 选 取 580 张 图 。 为 增强 网 络 的 鲁 棒 
性 和 泛 化 能 力 ， 对 图 像 进 行 翻转 、 镜 像 、 缩 放 等 手 
段 进 行 数据 增强 ,得 到 1 160 张 图 像 数据 。 数 据 分 
布 情况 见 表 2， 数 据 集 部 分 图 像 如 图 5 所 示 。 
表 2 肉牛 体 尺 实例 分 割 实 验 数 据 集 
Table 2 Instance segmentation experiment dataset for beef cat- 


tle body size 


数据 集 图 像 / 张 手机 / 张 MS COCO/ 张 
训练 集 2780 930 1 850 
验证 集 435 230 205 

总 共 3 215 1 160 2 055 


数据 集 的 标注 精度 直接 影响 检测 结果 。 为 减少 


标注 可 能 带 来 的 精度 不 足 问题 ， 


本 人 研究 首先 从 官方 


COCO 数 据 集 的 实例 分 割 标 注 文件 中 将 有 和 牛 的 类 别 
标注 数据 提取 出 来 ， 然 后 使 用 官方 百度 旗下 的 


Eiseg 标注 工具 对 自制 数据 集中 的 图 像 进 行 轮 廓 标 
注 。 为 符合 模型 的 训练 要 求 ， 选 择 标注 的 数据 集 格 
IN JSON 存储 标注 数据 ， 其 中 包括 目标 边界 框 信 
息 、 目 标 面积 、 图 像 的 名 称 、 对 应 图 像 ID (Identi- 
ty document) 以 及 类 别 ID 等 信息 ， 组 成 混合 交 
据 集 。 


2 研究 方法 

2.1 基于 改进 的 Mask2former 的 牛 体 轮 请 
E 
Mask2former 为 所 有 图 像 分 割 任务 训练 了 一 个 
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b. 公开 数据 
图 5 牛 体 实 例 分 割 试验 部 分 数据 集 展示 


Fig. 5 Partial dataset of instance segmentation of beef cattle 


body size 


单一 模型 。 三 个 图 像 分 制 任务 〈 全 景 、 实 例 和 语 
X) 在 流行 数据 集 上 都 取得 了 最 佳 效果 ， 因 此 ,在 
该 算法 上 改进 会 获得 更 好 的 分 割 效果 。 
2.1.1 Mask2former 结构 原理 

Mask2former 是 Facebook 团队 提出 的 基于 
Transformer 的 端 到 端的 检测 、 分 割 框架 ,是 对 2021 
“FE maskformer |! 的 进一步 改进 。 

Maskformer 的 基本 思想 是 把 语义 分 割 、 实 例 分 
制 用 一 个 统一 的 框架 、 损 失 和 训练 过 程 来 实现 ， 都 
定义 为 手 膜 分 类 任务 ， 如 果 是 语义 分 类 任务 在 推理 
阶段 加 一 个 组 合 层 即 可 获得 预测 结果 。Maskformer 
与 Deformable Detection Transformer |"! 思想 类 似 ， 
都 是 去 除 人 工 经 验 ， 把 实例 分 割 作 为 一 个 集合 预测 
问题 来 看 待 。 首 先 用 backbone 提取 图 像 基础 特征 , 
然后 分 2 个 分 文 : 一 个 分 文 是 通过 pixel decoder 模 
块 生成 pixel 的 embedding; 男 一 个 分 支 是 通过 
transformer decoder 生 成 N 个 queries， 然 后 在 queries 
后 加 全 连接 层 和 softmax 就 得 到 类 别 的 概率 估计 。 
对 于 mask 的 预测 ， 先 通过 N 个 queries 经 过 两 层 的 
Multi-Layer Perceptron 生成 N 个 mask embedding, 
然后 mask embedding 和 前 面 的 pixel embedding 相 乘 
加 sigmoid 激 活 函 数 得 到 。 在 计算 损失 时 用 二 分 图 
匹配 来 配对 预测 和 真 值 构造 集合 损失 ， 从 而 简化 


pipeline 实 现 端 到 端的 目标 检测 。 

Mask2former 在 maskformer 的 基础 上 主要 做 了 
3 个 方面 的 改进 。 一 是 Transformer Decoder 中 cross 
attention 改 成 mask attention 并 和 self attention 换 位 
置 ， 以 保证 前 景 间 互相 attention 忽略 背景 的 干扰 。 
二 是 增加 多 尺度 特征 ， 也 就 是 把 pixel decoder 的 不 
同 层 作为 特征 金字 塔 分 别 输入 到 transformer decoder 
的 不 同 层 中 ， 以 提升 小 目标 的 识别 效果 。 三 是 在 少 
量 采 样 随机 点 而 非 全 图 上 计算 mask loss， 以 提升 速 
度 。 本 研究 使 用 resnet50 作为 特征 提取 网 络 。 在 第 
0 阶段 ， 在 骨干 网 络 输出 之 前 ， 分别 加 入 注意 力 机 
制 来 对 特征 进行 更 好 的 表达 。 

2.1.2 ERIM Gl 

利用 注意 力 机 制 ， 可 以 用 高 权重 聚焦 更 重要 的 
言 息 ， 用 低 权 重 忽 略 无 关 信息 ， 而 且 权 重 还 可 以 不 
断 调整 ， 从 而 在 不 同情 况 下 也 能 选择 重要 信息 。 卷 
积 块 注意 力 模 块 (Convolutional Block Attention 
Module, CBAM)' 能 有 效 结合 信道 注意 力 和 空间 
注意 力 ， 从 两 个 方面 加 强 关键 特征 的 提取 。 坐 标注 
意 力 模块 (Coordinate Attention, CA) '" A {CAE AK 
取信 道 间 信息 ， 还 能 考虑 与 方向 相关 的 位 置信 息 ， 
帮助 模型 更 好 地 定位 和 识别 目标 。 注 意 力 机 制 如 
图 6 所 示 。 

在 stage0 中 ， 只 提取 图 像 的 低级 特征 ， 加 入 
CBAM， 可 以 为 通道 和 空间 特征 分 配 权重 ， 从 而 加 
强 关 键 特征 的 提取 。 这 部 分 改进 命名 为 CB- 
Mask2former。 在 第 4 阶段 末尾 添加 CA 模块 是 为 了 
在 输出 前 对 网 络 学 习 特 征 的 表示 进行 最 后 的 增强 。 
这 部 分 改进 命名 为 CA-Mask2former。 改 进 后 的 网 
络 最 终 命名 为 CC-Mask2former， 如 图 7 所 示 。 

2.1.3 ”模型 训练 

实验 所 用 服务 器 搭载 身 伟 达 RTX3090TI 显 卡 ， 
内 存 为 64 GB。 实 验 开发 平台 为 64 位 Windows 10 
操作 系统 ，12 代 i9 处 理 器 。 软 件 平台 为 PyCharm,， 
CUDA 使 用 11.6 版 本 ， 编 程 语言 为 Python 3.8.13, 
深度 学 习 框 架 为 Pytorch 1.12.0。 

在 模型 训练 时 ， 将 训练 图 像 像素 调整 为 
512X512, ，epoch 设置 为 60，batch size 设置 为 12， 
H F batch size 为 122， 因 此 训练 集 最 终 的 迷 代 次 数 
为 13 900 次 。 采 用 迁移 学 习 方法 ， 在 训练 开始 时 加 
入 预 训 练 模 型 。 在 训练 中 ， 优 化 器 选用 Adamw， 
学 习 率 为 0.000 1， 权 重 衰减 设 为 0.005。 本 研究 采 
用 平均 精度 均值 (Mean Average Precision, mAP) 
作为 评价 指标 。mAP 是 对 每 个 类 别 的 平均 精度 值 
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b. 坐 标注 意 力 模块 
图 6 注意 力 机 制 结构 图 
Fig.6 Structure of the attention mechanism 
(Average Precision, AP) 求 和 后 的 平均 值 。AP 是 以 
召回 率 (Recall, R) 为 横 轴 、 精 确 率 (Precision, P) 
为 纵 轴 绘制 P-R 曲线 并 对 其 积分 求 出 曲线 下 的 面积 
而 得 到 ， 即 不 同 召 回 率 下 的 精确 率 的 平均 值 。P、 
R 的 计算 如 公式 (1) 和 公式 (2) 所 示 。 


TP 

XK 

P IDE 100% (1) 
TP 

R-ap.pw X 100% (2) 


t9 — 
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式 中 : TP 为 实际 正 类 预测 为 正 类 的 数量 ; FP 
为 实际 负 类 预测 为 正 类 的 数量 ; FN 为 实际 正 类 预 
测 为 负 类 的 数量 。 


2.2 三 维 数据 处 理 


深度 相机 受到 光照 和 周围 环境 噪声 的 影响 ， 在 
二 维 图 像 中 投影 到 点 云 深 度 图 像 时 ， 可 能 会 存在 二 
HE RGB 图 像 中 的 待 测 像素 点 投影 到 深度 值 图 像 中 
对 应 像素 坐标 时 出 现 该 处 为 空 值 的 情况 ， 导 致 无 法 
计算 该 点 的 三 维 坐标 。 因 此 ， 需 要 对 深度 图 像 进行 
优化 来 填补 牛 体 区 域 空 值 的 现象 。 由 于 深度 相机 采 
集 到 的 深度 值 数据 十 分 庞大 ， 对 原始 深度 数据 进行 
优化 会 浪费 大 量 的 计算 资源 和 时 间 ， 会 对 无 关 数 据 
做 很 多 无 用 功 ， 因 此 在 本 小 节 中 ， 对 原始 深度 值 数 
据 进 行 处 理 ， 保 留 有 效 信息 。 
2.2.1 点 云 滤波 

利用 D455 相机 在 对 牧场 中 137 头 牛 的 深度 图 
像 进 行 采 集 后 ， 每 一 张 深度 图 像 转 成 的 点 云 有 35 
万 个 点 左右 ， 数 据 量 十 分 庞大 。 首 先 对 原始 点 云 数 
据 进 行 直通 滤波 ， 因 为 牛 身 与 其 他 的 背景 是 沿 着 光 
心 发 射 的 方向 ， 即 乙 轴 的 方向 ， 所 以 可 以 根据 相机 
与 肉牛 之 间 的 距离 ， 在 乙 轴 方 向 进行 浆 值 设置 ， 去 
除 Z 值 方向 上 大 于 5 m 的 深度 值 。 直 通 滤波 的 计算 
如 公式 (3) 所 示 。 通 过 直通 滤波 后 的 点 集 
f(x, y, z) HIR EI Z i A y ZEB z, 和 z 之 间 
的 点 。 

finwz)etosyoleelosn) } (3) 

在 经 过 直通 滤波 后 会 去 除 大 量 无 用 的 点 云 数 
据 ， 对 直通 滤波 后 的 数据 进行 基于 K 近邻 (K- 
Nearest Neighbor, KNN) 算法 的 统计 学 滤波 V 2E 


图 7 CC-Mask2former 模 型 结构 图 
Fig.7 CC-Mask2former model structure 
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1) 对 于 给 定 的 点 云 数据 集 ， 首 先 选 择 一 个 固 
定 的 K 值 ， 即 KNN 的 数量 。 

2) 对 于 点 云 中 的 每 个 点 ， 根 据 其 K 个 最 近邻 
点 的 统计 特征 ， 来 判断 该 点 是 否 为 噪点 。 采 用 统计 
学 中 的 离散 度 指 标 标准 差 来 衡量 点 云 的 分 布 情况 。 
标准 差 如 公式 (4) 所 示 。 

MN EXCEPT (4) 

式 中 : D- Y "为 所 有 数据 与 其 平均 值 的 差 
值 的 平方 的 总 和 ; N 为 数据 的 数量 ; /为 数据 的 平 
均值 。 

3) 如 果 一 个 点 的 个 最 近邻 点 的 离散 度 超 过 
一 个 事先 设置 的 阐 值 ， 那 么 认为 该 点 是 噪点 ， 可 以 
选择 去 除 该 噪点 并 进行 后 续 的 点 云 处 理 ， 或 者 保留 
该 点 。 对 于 所 有 点 重复 上 述 过 程 ， 直 到 达到 所 有 点 
的 滤波 要 求 。 

2.2.2 ARBRE 

点 云 分 割 的 目的 是 对 目标 点 云 进行 更 精细 地 提 
取 。 通 过 利用 目标 点 云 的 空间 、 几 何等 特征 ， 对 原 
始点 云 进行 分 割 ， 实 现 分 割 后 的 目标 区 域 具有 相同 
的 特征 。 

本 研究 采用 一 种 基于 密度 的 空间 聚 类 算法 
(Density-Based Spatial Clustering of Applications 
with Noise, DBSCAN) ”， 用 于 发 现 具有 高 密度 的 
数据 点 的 组 成 区 域 ， 并 将 其 与 低 密度 的 区 域 分 割 开 
来 。 相 比 于 传统 的 基于 距离 的 聚 类 方式 (如 KK 均值 
聚 类 )，DBSCAN 能 够 有 效 处 理 具 有 不 规则 形状 和 
不 同 密度 的 数据 ， 并 且 可 以 自动 确定 簇 的 数量 。 算 
法 实现 步骤 如 下 。 

1) 定义 半径 e 邻 域 (s-Neighborhood) ， 如 公 
x (5) 所 示 对 于 数据 集 D 中 的 每 个 点 PP， 它 的 半径 
z 邻 域 N (p) 包含 DD 中 所 有 与 p 的 距离 小 于 等 于 & 
的 点 。 

N(p)= {aldist( p. a) < e} (5) 

2) 定义 核心 点 (Core Point): 如 果 点 p 的 半 和 从 
z 邻 域 中 至 少 包 含 一 定数 量 的 点 〈 称 为 密度 阔 值 
MinPts)， 则 点 p 被 认为 是 一 个 核心 点 。 

3) 定义 直接 密度 可 达 (Directly Density- 
Reachable): 对 于 数据 集 D 中 的 任意 两 个 点 p 和 g， 
如 果 g 在 p 的 半径 e 邻 域 中 ,并且 p 是 一 个 核心 点 ， 
WWE q M p 直接 密度 可 达 。 

4) 定义 密度 可 达 (Density-Reachable): 对 于 
数据 集 DD 中 的 任意 两 个 点 p 和 gq， 如 果 存 在 点 序列 


Pis Dix very Das 其 中 pi=p， P=4， E pa M p HIZK 
度 可 达 ， 则 称 g 从 p 密 度 可 达 。 

5) 定义 密度 相连 (Density-Connected): 对 于 
数据 集 DD 中 的 任意 两 个 点 p 和 gqg， 如 果 存 在 一 个 点 
o， 使 得 p 和 g 都 从 o 密 度 可 达 ， 则 称 p 和 4g 密度 相 
连 。 最 终 将 密度 相连 的 点 划分 到 同一 个 簇 中 。 
2.2.3 深度 值 优 化 

将 处 理 后 的 点 云 数 据 重新 转换 成 新 的 深度 图 
像 。 为 防止 存在 空 值 的 情况 ， 在 深度 值 为 0 的 位 置 
进行 16 领域 的 优化 ， 使 其 范围 扩大 ， 将 其 16 领域 
的 深度 值 的 平均 值 填充 到 该 0 位 置 上 ， 可 以 将 牛 屿 
体 区 域 和 牛 前 后 腿 之 间 的 区 域 的 空 值 进行 合理 的 补 
充 ， 从 而 保证 RGB 图 像 上 的 测 点 在 对 应 像素 位 置 
的 三 维 数据 中 不 会 出 现 空 值 ， 避 免 影响 计算 。16 领 
域 优 化 原理 如 图 8 所 示 ， 蓝 色 点 为 空 值 点 ， 绿 色 区 
域 为 像素 的 16 领域 。 
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图 8 深度 值 的 16 领域 优化 原理 图 


Fig. 8 Principle of 16-domain optimization for depth values 
2.8 自动 化 提取 体 尺 测 点 方法 


为 了 便于 体 尺 测 点 的 提取 ， 在 本 人 研究 中 需要 在 
测 点 提取 之 前 ， 统 一 将 实例 分 割 后 的 掩 膜 进行 如 下 
图 像 后 处 理 操作 : 

1) 去 除 分 割 图 中 的 小 对 象 部 分 ， 保 留待 测 牛 
只 掩 膜 的 最 大 连通 区 域 部 分 ; 

2) 利用 Canny 算 子 进行 边缘 检测 ; 

3) 利用 opencv 对 边缘 检测 图 进行 轮廓 数据 点 
的 提取 。 
2.3.1 体高 .十 字 部 高 参数 提取 方法 

Ti cff x ^F PRAE BER ZE E ff (x. y) SA F ff 
(xz，y )， 两 点 横 纵 坐标 所 包 半 的 区 域 即 为 牛 体 轮 
廊 所 在 区 域 。 利 用 x = [x + (x, — x, )/2 WER 
牛 体 区 域 划 分 为 左右 两 部 分 ， 由 于 在 计算 机 图 像 
中 ， 坐 标 原 点 在 图 片 左上 角 ， 因 此 分 别 在 左右 两 部 
分 区 域 找 到 各 自 区 域 的 了 值 最 大 的 点 来 作为 牛 体 的 
前 后 腿 最 低 点 ， 将 两 个 点 连 起 来 的 线段 作为 牛 体 尺 
测量 的 基准 线 。 

者 甲 点 与 十 字 部 高 测 点 提取 流程 如 图 9 所 示 。 
2.3.2” 体 和 斜 长 和 管 围 提 取 方 法 

由 于 肩 腥 点 处 存在 一 个 明显 凸 起 ， 对 于 肩 腥 点 
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(_™) 1 个 开始 增 大 的 点 ， 这 里 的 连续 下 降 不 包括 相 邻 两 
一 个 y 像 素 点 位 置 距离 不 变 的 情况 ， 如 图 11 所 示 。 最 
一 后 找到 图 10 绿 色 区 域 中 在 该 点 y 坐 标 值 下 的 两 个 索 
a 引 值 ， 从 而 找到 对 应 位 置 的 两 个 x 值 ， 以 两 个 点 的 
ae x 坐 标 值 之 间 的 距离 作为 直径 ， 计 算 该 直径 下 的 贺 
| 的 周 长 即 为 管 围 。 
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图 9 肉牛 体高 .十字 部 高 测 点 提取 流程 
Fig. 9 Point extraction process of beef cattle body height and 


cross section height measurement 


的 提取 采用 划分 区 间 的 方式 ， 在 找到 着 甲 点 之 后 ， 
将 普 甲 点 的 坐标 作为 区 域 的 最 小 横 纵 坐标 范围 ， 将 
前 脚 点 的 纵 坐 标 作为 最 大 纵 坐 标 范围 ， 将 轮廓 的 最 
右 侧 点 的 横 坐 标 作 为 最 大 横 坐 标 范 围 ， 在 此 区 域内 
找到 深度 值 矩 阵 中 找到 Z 值 最 小 处 ， 并 将 该 点 的 像 
素 位 置 返回 至 RGB Fr, EZ US EUR NUS o 
TEX SIUE II S Je, RRC TER ES Ec Ze DU e, E) o AI 
标 作 为 最 小 横 坐 标 范 围 ， 十 字 部 高 测 点 的 横 坐 标 作 
为 最 大 横 坐 标 范围 ， 十 字 部 高 测 点 的 纵 坐 标 作为 最 
小 纵 坐 标 范 围 ， 肩 曙 点 的 纵 坐 标 作为 最 大 纵 坐 标 范 
围 ， 对 如 图 10 所 示 红 色 区 域 所 包围 的 黑色 轮廓 数 
据点 进行 最 小 二 乘法 拟 合 ， 找 到 曲率 最 大 值 的 点 定 
为 坐骨 端 后 缘 测 点 。 公 式 (6) 为 曲率 计算 公式 。 


将 肩 端点 到 坐骨 端 后 缘 测 点 之 间 的 距离 定位 体 
斜 长 。 
kyrt e) n (6) 


KA FAK BO BRA E E D me BE LESE, ER 
的 最 大 模 坐 标 作为 最 大 模 坐 标 范围 ， 前 脚 点 的 纵 坐 
标 作为 最 大 纵 坐 标 范围 ， 从 前 脚 点 向 上 ， 找 到 前 脚 
点 与 肩 端 点 纵 坐 标 差 值 的 二 分 之 一 处 ， 该 处 点 的 纵 
坐标 作为 最 小 纵 坐 标 范围 ， 如 图 10 所 示 的 绿色 框 


。 Ur 
. ARA 

一 一 牛 身 区 域 轮廓 
一 一 坐骨 端 后 缘 测 点 气 取 区 域 
一 一 ， 管 轩 测 点 区 域 轮廓 


500 600 700 800 


图 10 坐骨 端 后 缘 测 点 区 域 和 管 围 测 点 区 域 图 示 
Fig. 10 The region ofthe posterior border of the Sciatic end of 


the point of measurement and the region of the tube perimeter 


measurement point 


* 管 围 测 点 所 在 位 置 


像素 距离 值 


390 400 410 420 430 440 450 
AE 8] Eg RE LE 


图 11 管 围 测 点 区 域 的 像素 距离 值 曲 线 


Fig. 11 The pixel distance value curve of the tube circumfer- 


ence measurement area 
2.4 投影 点 世界 坐标 计算 
使 用 pyrealsense2 库 读 出 D455 摄像 机 出 三 时 校 
准 的 摄像 机 参数 ， 获 取 对 齐 后 RGB 光 心 参数 以 及 
校准 后 的 深度 帧 的 深度 参数 ， 如 表 3 所 示 。 
表 3 Inter RealSense D455 相 机 参数 


Table 3 Inter RealSense D455 camera parameters 


区 域 。 找 出 该 区 域 包围 的 所 有 轮廓 点 ， 按 纵 轴 方 丫 


视 光 心 坐标 焦距 
深度 图 (421.275 ,242.336) (427.19,427.19) 


自 上 而 下 绘制 区 域内 宽度 距离 值 变化 曲线 ,计算 同 
一 纵 坐标 下 的 两 个 点 的 横 坐 标 之 间 的 像素 距离 ， 接 
着 找到 距离 值 曲线 中 基于 多 个 连续 相 邻 y 方 向 上 的 
像素 点 位 置 上 ， 连 续 下 降 后 、 经 过 平稳 一 次 后 的 第 


点 P 的 像素 坐标 为 (u,v)， 其 三 维 投影 点 PUE 
现实 空间 中 的 坐标 为 (X,，7,，2Z, ) 则 点 P 与 P 之 间 
的 变换 关系 见 公式 (7)。 
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X, - (u = us) X zff, 
Y,= (v= vo) X gf, (7) 
Ly =Z% 
式 中 : z 为 深度 信息 ; A、 太 分 别 为 焦距 信息 ; 
(Uy, Vo) 为 光 心 坐标 。 


3 结果 与 分 析 
3.1 图 像 分 割 实验 结果 


t 12 tas, X bbox mAP,, fl segm_mAP, TE 
测试 集 上 的 60 个 epoch 的 曲线 ， 满 足 测试 精度 。 


os bbox mAPIS 
— 9 sum mAPS 


图 12 CC-Mask2former 模 型 牛 体 尺 在 测试 结果 
Fig. 12 Testresults of beef cattle body of CC-Mask2former model 


3.1.1. 消融 测试 性 能 比较 
为 验证 本 人 研究 提出 的 基于 Mask2former 的 改进 
模型 的 有 效 性 ， 分 别 在 Mask2former, CB-Mask2for- 
mer、CA-Mask2former 和 CC-Mask2former 中 进行 实 
验 ， 结 果 如 表 4 所 示 。 本 研究 提出 的 两 部 分 改进 措 
施 都 可 以 改善 原始 网 络 的 指标 。 

表 4 Mask2former 添 加 注意 力 机 制 的 消融 实验 对 比 
Table 4 Comparison of ablation experiments for Mask2former 


adding attention mechanisms 


模型 bbox_mAP, ,/% segm_mAP, ,/% 
Mask2former 83.0 84.3 
CB-Mask2former 83.5 84.9 
CA-Mask2former 84.5 85.7 
CC-Mask2former 86.8 88.1 


3.1.2 ”不同 模型 的 对 比 

为 验证 本 人 研究 提出 的 基于 Mask2former 的 改进 
图 像 分 割 算法 的 有 效 性 ， 分 别 在 不 同 的 模型 上 采用 
resnet50 特征 提取 网 络 进行 测试 ， 与 不 同 实例 分 割 
模型 的 对 比 结 果 如 表 5 所 示 。 

从 表 5 可 以 看 出 ， 改 进 后 的 Mask2former 与 
Mask R-CNN 相 比 ，bbox_mAP,, 和 segm_mAP,,; 分 别 
提高 2.6% 和 3.9%; 与 PointRend 相 比 ，bbox_mAP,; 


表 5 不 同 分 割 模型 与 CC-Mask2former 网络 实验 对 比 
Table 5 Experimental comparison of different segmentation 


models with CC-Mask2former network 


模型 bbox_mAP, /% — segm mAP, /% 
Mask R-CNN 84.2 84.2 
PointRend?!! 70.4 69.2 
Queryinst?! 86.0 84.2 
CC-Mask2former 86.8 88.1 


All segm_mAP, ^) ill $e tes 16.4% Fil 18.9%; 5j Query- 
inst #HLK, bbox mAP,, fll segm_mAP,, ,分 别提 高 0.8% 
和 3.9%。 不 同 模型 的 图 像 分 割 结果 示例 如 图 13 


所 示 。 
3.2 三 维 数 据 处 理 结果 分 析 
3.2.1 点 云 滤波 


如 图 14 所 示 ， 通 过 直通 滤波 后 进行 统计 学 滤 
波 时 ， 标 准 差 闵 值 选 为 0.01， 不 同 K 值 的 选择 直接 
影响 最 终点 云 的 数量 以 及 点 云 的 滤波 效果 。 
通过 图 14 中 各 图 的 对 比 可 知 ，K 值 越 大 滤波 后 
的 点 云 越 少 ， 牛 身 区 域 的 点 云 存 在 丢失 ， 并 且 耗 费 
的 计算 时 间 越 长 。 在 本 研究 中 K 值 选 为 5。 
3.2.2 ARNE 

对 滤波 后 的 点 云 进 行 DBSCAN 算 法 的 分 制 实 
验 对 比如 图 15 所 示 。 由 此 可 知 ， 在 最 小 阔 值 密度 
一 定 的 情况 下 ， 领 域 半径 越 小 分 制 效果 起 好， 在 领 
域 半 径 一 定 的 情况 下 ， 最 小 密度 冰 值 越 大 ， 分 割 后 
的 点 云 数量 越 少 ， 并 且 对 牛 体 点 云 破坏 较 大 。 因 此 
本 研究 选择 使 用 最 小 密度 国 值 为 5， 领 域 半 径 为 
0.02 进行 点 云 分 割 。 
3.2.3 深度 值 优化 

对 处 理 后 的 点 云 数 据 所 对 应 的 深度 图 进行 优 
化 ， 目 的 是 填充 牛 体 区 域 的 空 值 点 ， 分 别 对 采用 双 
线性 插值 S 领域 平均 值 优化 以 及 16 领域 平均 值 优 
化 的 结果 进行 对 比 ， 如 图 16 所 示 ， 效 果 最 好 的 是 
16 领域 平均 值 优化 ， 它 把 牛 身体 部 分 和 前 后 腿 之 间 
的 空洞 都 很 好 地 填补 上 。 


3.3 体 尺 测 点 提取 及 体 尺 参数 测量 结果 分 析 


3.3.1 体 尺 参数 提取 结果 分 析 

采用 本 研究 体 尺 参数 提取 方法 对 137 头 牛 进行 
体 尺 参数 提取 。 图 17 为 个 别 牛 只 体 尺 参数 提取 结 
果 ， 验 证 了 本 研究 体 尺 参数 提取 算法 的 有 效 性 。 
3.8.9 ” 体 尺 测量 结果 与 分 析 

对 137 头 肉牛 的 体高 、 体 斜 长 、 十 字 部 高 和 管 


d 
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a. Mask R-CNN b. PointRend 


c. Queryinst d. CC-Mask2former 


图 13 不 同 实例 分 割 模型 的 分 割 结果 示例 
Fig. 13 Examples of segmentation results for different instance segmentation models 


c. K=8 
图 14 肉牛 点 云 统计 学 滤波 结果 
Fig. 14 Statistical filtering results of beef cattle point clouds 


围 这 4 个 体 尺 参 数 进行 自动 化 测量 。 与 人 工 测 量 值 
对 比 ， 计 算 不 同体 尺 参数 的 相对 误差 ， 如 图 18 
所 示 。 

体高 的 相对 误差 的 平均 值 、 最 大 值 和 最 小 值 分 
别 为 4.32%、15% 和 1.16%， 出 现 离 群 点 是 由 于 该 
牛 只 进入 限制 装置 后 出 现 前 胶 跪 在 地 上 的 情况 ， 导 
致 出 现 了 离 群 值 ， 其 余 牛 只 正常 进入 装置 后 ， 由 于 


于 正常 现象 。 

十 字 部 高 的 相对 误差 的 平均 值 、 最 大 值 和 最 小 
值 分 别 为 3.71%、14.6% 和 0.68%， 出 现 离 群 点 是 因 
为 牛 只 偶尔 排便 时 后 腿 一 直 弯 曲 所 致 。 

体 斜 长 的 相对 误差 的 平均 值 、 最 大 值 和 最 小 值 
AY HWA 5.58%, 16.7% 和 1.14%， 出 现 误差 大 的 情况 
是 受 牛 只 排便 等 姿势 的 影响 ， 坐 骨 端 后 缘 测 点 提取 
出 现 偏差 所 致 。 

管 围 的 相对 误差 的 平均 值 、 最 大 值 和 最 小 值 分 
别 为 6.25%、14.9% 和 1.01%， 出 现 误差 大 的 原因 是 
牛 的 不 同 站 姿 ， 当 两 条 前 腿 重 合 度 较 大 时 ， 导 致 图 
像 分 割 网 络 不 能 够 同时 分 割 出 两 条 腿 。 

四 种 体 尺 参数 平均 相对 误差 最 小 的 是 十 字 部 
高 。 分 析 原 因 是 由 于 十 字 部 位 置 较为 突出 ， 牛 只 站 
姿 的 不 同 对 十 字 部 高 的 位 置 影响 较 小 。 


4 结 d 
针对 光照 和 复杂 背景 等 因素 的 影响 ， 为 提高 牛 


不 同 姿势 的 影响 会 导致 者 甲 测 点 提取 各 有 不 同 ， 属 


只 前 景 图 像 的 分 割 效果 ， 本 人 研究 以 实例 分 割 模型 


3 
IH 
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(a) 邻 域 半径 =0.02 (b) 邻 域 半径 =0.1 


(c) 邻 域 半径 =0.15 


a. 最 小 密度 阅 值 为 5 


(d) 邻 域 半径 =0.2 


(a) Jg it HER ELS (b) Jis HEPA {FL=10 


(d) 最 小 密度 阔 值 =20 


(c) 最 小 密度 阐 值 =15 
b. 领域 半径 为 0.02 
图 15 肉牛 点 云 分 割 结 果 


Fig. 15 Beef cattle point cloud segmentation results 


a. 双 线 性 插值 b. 8 领域 c. 16 领 域 
图 16 肉牛 点 云 分 割 后 的 深度 图 优化 结果 
Fig. 16 Depth map optimization results after point cloud 
segmentation of beef cattle 
Mask2former 为 基础 ， 加 入 CBAM 模 块 和 CA 模块 
分 别 从 不 同 角度 提升 模型 对 关键 特征 的 提取 能 
对 比 了 经 典 的 实例 分 割 网 络 Mask R-CNN 以 及 近年 
来 几 种 新 的 实例 分 割 网 络 ， 从 分 割 精度 以 及 最 终 分 
割 的 效果 来 看 都 有 所 提升 ， 可 以 提取 到 较 高 精度 、 
较为 光滑 的 牛 只 前 景 图 像 。 
设计 一 种 二 维 与 三 维 图 像 信息 融合 的 方法 ， 对 
137 头 牛 只 进行 自动 体 尺 测量 。 将 4 个 体 尺 自动 测 
量 值 与 人 工 测 量 值 进 行 对 比 ， 结 果 表 明 ， 体 高 、 十 
字 部 高 、 体 斜 长 和 管 围 的 平均 相对 误差 分 别 为 
4.3295, 3.71%, 5.58% 和 6.25% 。 
本 研究 设计 的 体 斥 测量 系统 满足 真实 牧场 环境 


c. 牛 编号 ; 60673 中 中 编号 : 60754 


e FR: 60889 下 后 编 号 ，60178 

十 字 部 高 测 点 与 基准 线 的 垂 足 

一 一 实例 分 制 后 的 生 身 区 域 轮廓 
基准 线 


e #74 
e dmm 
e dms —- 
e 坐 则 后 缘 测 点 一 一 
e 管 径 测 点 1 一 一 体 斜 长 
e 管 径 测 点 2 — 
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图 17 不 同 牛 只 的 体 尺 参数 提取 结果 示例 


Fig.17 Example of extracted results of body size parameters 


for different cattles 
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注 : 箱 形 框 内 红色 线 代表 相对 误差 率 的 均值 ,空心 圆 点 代表 误差 离 群 

点 , 横 轴 参数 分 别 为 体高 十字 部 高 、 体 斜 长 和 管 围 。 
图 18 肉牛 体 尺 参数 相对 误差 结果 图 

Fig. 18 Plot of relative error results for beef cattle body 


size parameters 


需求 ， 可 较 好 地 满足 肉牛 体 尺 自动 化 计算 ， 为 非 接 
触 式 自动 测量 肉牛 体 斥 提供 了 理论 与 实践 指导 。 不 
足 之 处 在 于 测量 的 体 斥 参数 较 少 ， 测 量 周 长 类 的 体 
尺 参 数 误 差 相 对 偏 大 。 后 期 研究 可 以 采用 多 视角 方 
式 增加 待 测 体 尺 参 数 的 数量 ， 提 高 围 度 类 参数 
精度 。 


利益 冲突 声明 : 本 研究 不 存在 研究 者 以 及 与 公开 
研究 成 果 有 关 的 利益 冲突 。 
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Abstract: 

[Objective] The body size parameter of cattle is a key indicator reflecting the physical development of cattle, and is also a key factor in 
the cattle selection and breeding process. In order to solve the demand of measuring body size of beef cattle in the complex environ- 
ment of large-scale beef cattle ranch, an image acquisition device and an automatic measurement algorithm of body size were designed. 
[Methods] Firstly, the walking channel of the beef cattle was established, and when the beef cattle entered the restraining device 
through the channel, the RGB and depth maps of the image on the right side of the beef cattle were acquired using the Inter RealSense 
D455 camera. Secondly, in order to avoid the influence of the complex environmental background, an improved instance segmenta- 
tion network based on Mask2former was proposed, adding CBAM module and CA module, respectively, to improve the model's abili- 
ty to extract key features from different perspectives, extracting the foreground contour from the 2D image of the cattle, partitioning 
the contour, and comparing it with other segmentation algorithms, and using curvature calculation and other mathematical methods to 
find the required body size measurement points. Thirdly, in the processing of 3D data, in order to solve the problem that the pixel 
point to be measured in the 2D RGB image was null when it was projected to the corresponding pixel coordinates in the depth-valued 
image, resulting in the inability to calculate the 3D coordinates of the point, a series of processing was performed on the point cloud 
data, and a suitable point cloud filtering and point cloud segmentation algorithm was selected to effectively retain the point cloud data 
of the region of the cattle's body to be measured, and then the depth map was 16. Then the depth map was filled with nulls in the field 
to retain the integrity of the point cloud in the cattle body region, so that the required measurement points could be found and the 2D 
data could be returned. Finally, an extraction algorithm was designed to combine 2D and 3D data to project the extracted 2D pixel 
points into a 3D point cloud, and the camera parameters were used to calculate the world coordinates of the projected points, thus auto- 
matically calculating the body measurements of the beef cattle. 

[Results and Discussions] Firstly, in the part of instance segmentation, compared with the classical Mask R-CNN and the recent in- 
stance segmentation networks PointRend and Queryinst, the improved network could extract higher precision and smoother fore- 
ground images of cattles in terms of segmentation accuracy and segmentation effect, no matter it was for the case of occlusion or for 
the case of multiple cattles. Secondly, in three-dimensional data processing, the method proposed in the study could effectively extract 
the three-dimensional data of the target area. Thirdly, the measurement error of body size was analysed, among the four body size mea- 
surement parameters, the smallest average relative error was the height of the cross section, which was due to the more prominent po- 
sition of the cross section, and the different standing positions of the cattle have less influence on the position of the cross section, and 
the largest average relative error was the pipe circumference, which was due to the influence of the greater overlap of the two front 
legs, and the higher requirements for the standing position. Finally, automatic body measurements were carried out on 137 beef cattle 
in the ranch, and the automatic measurements of the four body measurements parameters were compared with the manual measure- 
ments, and the results showed that the average relative errors of body height, cross section height, body slant length, and tube girth 
were 4.32%, 3.71%, 5.58% and 6.25%, respectively, which met the needs of the ranch. The shortcomings were that fewer body-size 
parameters were measured, and the error of measuring circumference-type body-size parameters was relatively large. Later studies 
could use a multi-view approach to increase the number of body rule parameters to be measured and improve the accuracy of the pa- 
rameters in the circumference category. 

[Conclusions] The article designed an automatic measurement method based on two-dimensional and three-dimensional contactless 
body measurements of beef cattle. Moreover, the innovatively proposed method of measuring tube girth has higher accuracy and bet- 
ter implementation compared with the current research on body measurements in beef cattle. The relative average errors of the four 
body tape parameters meet the needs of pasture measurements and provide theoretical and practical guidance for the automatic mea- 
surement of body tape in beef cattle. 


Key words: cattle body size measurement; deep learning; point cloud segmentation; instance segmentation; attention mechanism; 
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